Unpaired Modality-Agnostic Generative Recommendation
未配对模态无关的生成式推荐
🧭 生成式推荐 · 未配对多模态语义ID学习 ★ 深度解读
Beihang University · Meituan
让生成式推荐从配对、纯图、纯文混合数据中学习统一的语义ID空间，消除多模态配对瓶颈
📌 工作参考价值（4 点）
- 利用未配对商品数据直接优化语义ID：电商商品图、文经常独立维护，配对覆盖率不足。可借鉴 UnpairGR 的共享 Transformer 主干和残差码本设计，让只有图片或只有标题的商品也能参与训练相同的离散 tokenizer，不依赖特征补全或独立码本。
- 轻量输入端投影 + 共享编码器：将模态特定处理限制在浅层投影层，后续深层网络和码本完全共享。这样即使模态缺失，表征依然落在统一的量化空间，工程实现简单，避免多套 tokenizer 和 fallback 逻辑。
- 基于熵的可靠性加权共识：对于配对商品，通过码本赋值的熵动态评估各模态置信度再做加权融合，优于简单平均。在商品描述质量参差不齐的场景（如标题噪音大、主图不清晰）可直接复用。
- 分层码本 + 交叉观测一致性正则：利用粗粒度语义对齐（早期码本）和细粒度差异容忍（后期码本）的特性，配合 JS 散度约束，能在未配对训练下保持同一商品不同模态输入生成相似前缀语义 ID，这对后续的生成式检索或 Agent 工具调用中的 item 表示一致性很有用。